这是一篇关于「情绪分析」和「情感检测」的综述（非常详细）

点击下方卡片，关注‘’AINLPer‘’

更多干货，第一时间送达

引言

 随着互联网时代的迅速发展，社交网络平台已经成为人们向全世界传达情感的重要手段。有些人使用文本内容、图片、音频和视频来表达他们的观点。另一方面，通过基于 Web 的网络媒体进行的文本通信有点让人不知所措。由于社交媒体平台，互联网上每一秒都会产生大量的非结构化数据。数据的处理速度必须与生成的数据一样快，这样才能够及时理解人类心理，并且可以使用文本情感分析来完成。它评估作者对一个项目、行政机构、个人或地点的态度是消极的、积极的还是中立的。在某些应用中，不仅需要情绪分析，而且还需要进行情绪检测，这可以精确地确定个人的情绪/心理状态。「本文提供了对情感分析水平、各种情感模型以及情感分析和文本情感检测过程的理解；最后，本文讨论了情绪和情感分析过程中面临的挑战」。

情绪和情感分析介绍

 人类语言理解和人类语言生成是自然语言处理（NLP）的两个研究方向。然而，由于自然语言中存在歧义，前者更具挑战性。语音识别、文档摘要、问答、语音合成、机器翻译和其他应用程序都使用 NLP。「自然语言处理的两个关键领域是情感分析和情感检测。尽管这两个名称有时可以互换使用，但它们在某些方面有所不同。情绪分析是一种评估数据是正面、负面还是中性的方法」。

 相比之下，情感检测是一种识别不同人类情感类型的方法，例如愤怒、快乐或沮丧。“情感检测”、“情感计算”、“情感分析”和“情感识别”都是有时可以互换使用的短语。自从互联网服务得到改善以来，人们正在使用社交媒体来表达他们的感受。在社交媒体上，人们随心所欲地表达他们的感受、论点和意见。此外，许多用户在各种电子商务网站上提供反馈和评论服务。用户在多个平台上的评级和评论鼓励供应商和服务提供商增强他们当前的系统、商品或服务。如今，几乎每个行业或公司都在经历一些数字化转型，从而产生大量结构化和非结构化的增长数据。公司的艰巨任务是将非结构化数据转化为有意义的见解，以帮助他们做出决策。

「在商业世界中，供应商使用微博、YouTube、Twitter 和 Facebook 等社交媒体平台来推广产品的信息并收集客户反馈」。人们的积极反馈不仅有利于商家衡量客户满意度和跟踪竞品情况，而且也有利于想要购买该产品的消费者。情感分析有助于营销人员更好地了解客户的观点，以便他们可以对其产品或服务进行必要的更改。社交媒体的兴起使得投资者在股市中的互动变得更加容易和快捷。因此，投资者的情绪会影响他们的投资决策，这些决策可以通过网络迅速传播和放大，股票市场可以在一定程度上发生变化（Ahmed 2020）。因此可以说，情绪和情绪分析改变了我们开展业务的方式。

「在医疗保健领域，Twitter 等在线社交媒体已成为为医疗保健专业人员和公民提供的健康相关信息的重要来源」。例如，人们一直在分享他们对 Covid-19 大流行的想法、意见和感受。患者被要求与亲人保持隔离，这损害了他们的心理健康。为了使患者免受抑郁等心理健康问题的困扰，健康从业者必须使用自动情绪感知和情绪分析。人们通常通过他们的帖子在网站上分享他们的感受或信念，如果有人看起来很沮丧，人们可以向他们寻求帮助，从而避免心理健康状况恶化。

「在教育领域，情绪情感对教师和学生都起着至关重要的作用。教师的教学能力不仅取决于他的学历，还取决于他的热情、才能和奉献精神」。及时听取学生的反馈是教师改进教学方法的最有效方法。情绪分析的结果有助于教师和组织采取纠正措施。自社交网站成立以来，教育机构越来越依赖 Facebook 和 Twitter 等社交媒体进行营销和广告宣传。学生和监护人进行大量在线研究，并更多地了解潜在的机构、课程和教授。他们使用博客和其他论坛与志趣相投的学生互动，并评估可能的学院和大学的质量。因此，应用情绪和情绪分析可以帮助学生在注册过程中选择最好的机构或老师。

 情绪情感分析具有广泛的应用，可以使用各种方法来完成。「情绪情感分析技术分为三种类型：基于词典、基于机器学习和基于深度学习」。每种方法都有自己优缺点。尽管有不同的情绪和情感识别技术，研究人员仍面临着重大挑战，包括处理上下文、讽刺、多种情绪表达、传播网络俚语以及词汇和句法的歧义。此外，由于没有交流感情的标准规则，有些人表达情绪的方式五花八门。因此，对于研究人员来说，开发一种可以在所有领域有效工作的技术是一个巨大的挑战。

情绪分析

 世界各地的许多人现在都在使用博客、论坛和社交媒体网站（如 Twitter 、Facebook、微博等）与全球其他地方分享他们的观点。社交媒体已成为最有效的沟通媒体之一。结果，生成了大量数据，称为大数据，并引入了情绪分析来有效和高效地分析这些大数据。对于行业或组织来说，理解用户的情绪变得异常重要。情感分析，通常称为意见挖掘，是一种检测作者或用户对某个主题的观点是积极还是消极的方法。「情绪分析被定义为使用自然处理技术从文本中获取有意义的信息和语义并确定作者态度的过程，这种态度可能是积极的、消极的或中立的」。由于情绪分析的目的是确定极性并将观点文本分类为正面或负面，因此情绪分析中涉及的数据集的类别范围不仅限于正面或负面；它可以同意或不同意，好的或坏的。它也可以用 5 点量表进行量化：非常不同意、不同意、中立、同意或非常同意。例如，叶等人对标记为 1 到 5 的欧洲和美国目的地的评论应用情感分析。他们将 1 星或 2 星评论与负极性相关联，将 2 星以上评论与正极性相关联。格雷布纳等人构建了一个特定领域的词典，该词典由带有情绪值的token组成。这些Tokens是从旅游领域的客户评论中收集的，以将情绪分类为旅游领域中从糟糕到优秀的 5 星评级。

情绪分析级别

 情感分析可以在句子级别、文档级别和方面级别三个级别上进行。在句子级别或短语级别的情感分析中，文档或段落被分解为句子，并识别每个句子的极性。在文档级别分析要从包含冗余和大量的长文本中提取全局情感。其中文档级情感分类最具挑战性的方面是考虑单词和短语之间的联系以及整个上下文的语义信息，它需要更深入地了解情绪和依赖词的复杂内部结构。在方面级别，情绪分析是在特定方面下进行的。例如，处理器的速度很高，但该产品价格过高。在这里，速度和成本是两个方面。句子中提到了速度，因此称为显式方面，而成本是隐式方面。方面级别的情感分析比其他两个更难，因为隐式特征很难识别。

 「其实情绪分析和情感检测经常被研究人员互换使用。但是，它们在几个方面有所不同。在情绪分析中，极性（积极、消极、中立）是主要关注点，而在情感检测中，检测情感或心理状态（生气、开心、悲伤等）。情绪分析非常主观，而情感检测则更加客观和精确」。

情感检测

   情感是人类生活中不可分割的组成部分。这些情感会影响人类的决策，并帮助我们以更好的方式与世界交流。情感检测，也称为情感识别，是识别一个人的各种感受（例如，喜悦、悲伤或愤怒）的过程。在过去的几年里，研究人员一直在努力实现情感识别的自动化。然而，一些身体活动，如心率、手发抖、出汗和音调也能传达一个人的情感状态，但从文本中检测情感相当困难。此外，随着时间的推移，各种歧义和新的俚语或术语不断出现，使得从文本中检测情绪变得更具挑战性。此外，情感检测不仅限于识别主要的心理状况（快乐、悲伤、愤怒）；相反，它往往会达到 6 级或 8 级，具体取决于情感模型。

情感模型

 在英语中，“情感”这个词出现在十七世纪，源自法语单词“emotion”，意思是身体上的干扰。在 19 世纪之前，激情、欲望和情感被归类为精神状态。在 19 世纪，“情感”这个词被认为是一个心理学术语。在心理学中，复杂的感觉状态会导致思想、行为、行为和人格的变化，称为情感。从广义上讲，心理或情感模型分为两类：维度模型和分类模型。

 维度模型 该模型基于三个参数表示情感：valence、arousal、power。valence表示极性，arousal表示感觉有多兴奋。例如，delighted比happy更令人兴奋。power表示对情绪的限制，这些参数决定了心理状态在二维空间中的位置，如下图所示。 分类情感模型，在该模型中，情绪是离散定义的，例如愤怒、快乐、悲伤和恐惧。根据特定的分类模型，情绪被分为四类、六类或八类。例如：Shaver model将情绪分类为悲伤，喜悦，愤怒，恐惧，爱，惊讶等六类。

 下图描绘了可以在各种模型中找到的众多情绪状态。这些状态以 Plutchik 模型为基础模型绘制在四轴上。如下图所示，不同模型中最常用的情绪状态包括愤怒、恐惧、喜悦、惊讶和厌恶。从图中可以看出，轴线两侧的情绪并不总是相互对立的。例如，悲伤和快乐是对立的，但愤怒不是恐惧的对立面。

情绪/情感分析流程

 情绪分析和情感检测的过程涉及收集数据集、预处理、特征提取、模型开发和评估等各个阶段，如下图所示。

数据集

 情感和情感分析领域最常见的数据集是SemEval、SST、ISEAR。SemEval和SST数据集在域、大小等方面有不同的变体。其中，ISEAR 是从多个受访者那里收集的，这些受访者在某些情况下会感受到七种情绪（在表中提到）之一。数据集主要包括推文、评论、反馈、故事等。EmoBank数据集收集自新闻、博客、信件等，使用了一个名为效价、唤醒优势模型(VAD)的维度模型。许多研究从Twitter、YouTube和Facebook等社交媒体网站获取数据，并在文献中由语言和心理学专家进行标记。从各种社交媒体平台的帖子、博客、电子商务网站爬出的数据通常是非结构化的，因此需要对其进行结构化处理，以减少特征提取的额外运算。

文本预处理

 在社交媒体上，人们通常以轻松的方式交流他们的感受和情绪。因此，从这些社交媒体平台的帖子、审计、评论、评论和批评中获得的数据高度非结构化，使得机器难以进行情绪和情绪分析。因此，预处理是数据清洗的关键阶段，因为数据质量会显着影响预处理之后的许多方法。数据集的组织需要预处理，包括标记化、停用词删除、POS 标记等。其中一些预处理技术可能会导致情绪和情绪分析的关键信息丢失，必须加以解决。

 标记化是将整个文档或段落或仅一个句子分解为称为标记的单词块的过程。例如，考虑句子“this place is so beautiful”和分词后，它将变成“this”、“place”、“is”、“so”、“beautiful”，「这里对应中文中的分词」。标准化文本对于实现数据的一致性至关重要通过将文本转换为标准格式，更正单词的拼写等。

 必须删除不必要的词，例如文章和一些无助于情感识别和情感分析的介词。例如，“is”、“at”、“an”、“the”等停用词与情绪无关，因此需要删除这些词以避免不必要的计算。

 词性标注是识别句子中不同词性的方法。这一步骤有助于从一个句子中发现通常由名词或名词短语描述的各个方面，而情感和情绪则由形容词表达。

 词干提取和词形还原是预处理的两个关键步骤。在词干提取中，通过截断后缀将单词转换为词根形式。例如，术语“argued”和“argue”变成“argue”。这个过程减少了不需要的句子计算。词形还原涉及形态分析，以从标记中删除感染性结尾，将其转化为基本词引理。例如，“caught”一词被转换为“catch”。Symeonidis 等人实验发现删除数字和词形还原提高了准确性，而删除标点符号并不影响准确性。

特征提取

 机器根据数字理解文本。将文本或单词映射到实值向量的过程称为词向量化或词嵌入。它是一种特征提取技术，其中将文档分解为句子，然后再分解为单词；之后，构建特征图或矩阵。在生成的矩阵中，每一行代表一个句子或文档，而每个特征列代表字典中的一个单词，并且特征映射的单元格中存在的值通常表示句子或文档中单词的计数。为了进行特征提取，使用的最直接的方法之一是“词袋”（BOW），其中定义了一个固定长度的计数向量，其中每个条目对应于预定义的词词典中的一个词.如果句子中的单词在预定义字典中不存在，则其计数为 0，否则计数大于或等于 1，具体取决于它在句子中出现的次数。这就是为什么向量的长度总是等于字典中存在的单词的原因。这种技术的优点是易于实现，但也有明显的缺点，因为它会导致矩阵稀疏，失去句子中单词的顺序，并且不能捕捉句子的含义。例如，要表示来自预定义字典 I, Hope, you, are, enjoying,reading的文本““are you enjoying reading”，则表示为是 (0,0,1,1,1,1)。然而，这些表示可以通过文本的预处理和利用 n-gram、TF-IDF 来改进。

 N-gram 方法是解决句子向量表示中单词顺序的绝佳选择。在 n-gram 矢量表示中，文本被表示为唯一 n-gram 意味着 n 个相邻术语或单词的组的协作。n 的值可以是任何自然数。例如，考虑句子“to teach is to touch a life forever”，n = 3 调用 trigram 将生成 'to teach is '，'teach is to '，'is to touch，''to touch a''，“touch a life”，“a life foreve”。这样，可以保持句子的顺序。「N-gram 特征比 BOW 方法表现更好，因为它们涵盖了句法模式，包括关键信息。然而，尽管 n-gram 保持了单词的顺序，但它具有高维度和数据稀疏性」。

 词频-逆文档频率，通常缩写为 TF-IDF，是另一种常用的特征提取方法。该方法以矩阵形式表示文本，其中每个数字量化了这些术语在给定文档中携带的信息量。它建立在稀有术语在文本文档中包含大量信息的前提下。词频是单词 w 在文档中出现的次数除以文档中单词 W 的总数，IDF 是 log（文档总数（N）除以单词 w 出现的文档总数 (n)。「Ahuja等人应用了六种机器学习算法，并使用 n = 2 的 n-gram 和 TF-IDF 在 SS-tweet 数据集上进行特征提取，并得出结论 TF-IDF 比 n-gram 具有更好的性能」。

 大量数据的可用性使深度学习网络能够发现良好的向量表示。基于神经网络的词嵌入特征提取信息量更大。「在基于神经网络的词嵌入中，具有相同语义或彼此相关的词由相似的向量表示。这在单词预测中更受欢迎，因为它保留了单词的语义」。由 Tomas Mikolov 领导的谷歌研究团队开发了一个名为 Word2Vec 的词嵌入模型。使用 Word2Vec，机器可以理解“queen”+“female”+“male”向量表示与“king”的向量表示相同。基于深度学习的词嵌入模型的其他示例包括斯坦福大学研究人员开发的 GloVe 和 Facebook 推出的 FastText。GloVe 向量的训练速度比 Word2vec 更快。与 Word2Vec 向量相比，FastText 向量具有更好的准确性，通过几个不同的措施。

情绪/情感分析方法

 下图展示了用于情绪分析和情感检测的各种技术，这些技术大致分为基于词典的方法、基于机器学习的方法和基于深度学习的方法。混合方法是统计和机器学习方法的组合，以克服这两种方法的缺点。迁移学习也是机器学习的一个子集，它允许在其他类似领域使用预训练模型。「基于词典/语料库的方法」 基于词典的方法和基于语料库的方法是基于情感词典的方法，该类方法维护一个字典/语料库，其中每个正面和负面词都被分配一个情绪值。然后，使用情感值的总和或平均值来计算整个句子或文档的情感。

「基于机器学习的方法」  整个数据集分为两部分用于训练和测试目的：训练数据集和测试数据集。训练数据集是用于通过提供项目不同实例的特征来训练模型的信息，然后使用测试数据集来查看训练数据集中的模型的训练成功程度。通常，用于情感分析的机器学习算法属于监督分类。情感分类所需的不同类型的算法可能包括朴素贝叶斯、支持向量机 (SVM)、决策树等，每种算法各有利弊。

「基于深度学习的方法」 近年来，深度学习算法正在主导其他传统的情感分析方法。这些算法在不进行特征工程的情况下检测文本中的情绪或意见。有多种深度学习算法，即循环神经网络和卷积神经网络，可以应用于情感分析，并给出比机器学习模型提供的结果更准确的结果。

「迁移学习方法和混合方法」 迁移学习也是机器学习的一部分。在大型数据集上训练以解决一个问题的模型可以应用于其他相关问题。重新使用相关领域的预训练模型作为起点可以节省时间并产生更有效的结果。

模型评估

&emsp；模型评估，主要将该模型与基于各种参数的基线模型进行比较。需要模型评估指标来量化模型性能。获得一个混淆矩阵，它提供基于已知实际值的正确和错误判断或预测的计数。该矩阵显示基于正类和负类的数据拟合的真阳性 (TP)、假阴性 (FN)、假阳性 (FP)、真阴性 (TN) 值。基于这些值，研究人员使用准确度、精确度和召回率、F1 分数等指标来评估他们的模型性能。

面临的挑战

「拼写语法问题」。在互联网时代，人们正在以非正式文本的形式生成大量数据。社交网站提出了各种挑战，其中包括拼写错误、语法使用不正确。

「缺乏资源」。例如，一些统计算法需要一个大的注释数据集。然而，收集数据并不困难，但大型数据集的手动标记非常耗时且可靠性较低。

「网络俚语」。例如，年轻一代使用“LOL”之类的词，意思是大声笑来表达笑声，“FOMO”，意思是害怕错过，表示焦虑。不断增长的网络俚语词典是现有词典和训练模型的巨大障碍。

「讽刺检测」。它已成为情感和情绪检测领域中一项繁琐的任务。人们通常用讽刺的句子表达他们的愤怒或失望，这是很难察觉的。比如：“你太美了，美若天仙”，这句话中，优秀的词表示积极的情绪，但实际上评论者觉得他很丑。

「多种情绪表达」。从多观点的句子中很难确定各个方面及其对应的情绪或情绪。例如，“在这个地方看起来很平静，但是这个地方很臭”这句话在各个方面表现出“厌恶”和“舒缓”两种情绪。

「比较句中的极性检测」。例如，考虑两个句子“电话 A 比电话 B 差”和“电话 B 比电话 A 差”。两个句子中的“差”一词都表示负极性，但这两个句子相互对立。

推荐阅读

点击下方链接🔗关注我们

「资料整理不易，点个赞、再看吧」